개인지식 시스템

지정된 접근 문자를 입력하면 이 브라우저에서 열람이 허용됩니다.

정적 사이트용 간단 게이트입니다. 강한 보안은 Cloudflare Access를 권장합니다.

← All Notes

Sources source 10-sources/AI 에이전트가 코드를 실험하고 개선하는 법.md updated Sun Jun 07 2026 00:00:00 GMT+0000 (Coordinated Universal Time)

AI 에이전트가 코드를 실험하고 개선하는 법

AI 에이전트가 코드를 실험하고 개선하는 법

Metadata

  • 원본: https://www.youtube.com/watch?v=YTcoTr8KJGc
  • 발표자: 배웅준, 미디어 플레이어테크
  • 분석 기준: YouTube 한국어 자막 추출본
  • 주제: HLS.js LL-HLS ABR 알고리즘을 AI 에이전트가 반복 실험으로 개선한 사례

Raw Summary

이 발표는 HLS.js의 LL-HLS 환경에서 ABR 알고리즘을 AI 에이전트 루프로 개선한 실전 사례다. 발표자는 LL-HLS의 200ms 파트 단위 전송에서 EWMA 기반 대역폭 추정이 흔들리는 문제를 배경으로 삼고, QoE를 단일 점수로 정의해 AI 에이전트가 코드 수정, 자동 벤치마크, keep/discard 판정, lessons 기록을 반복하게 했다.

실험은 카파시의 AutoResearch 패턴을 소프트웨어 성능 개선에 옮긴 형태다. 사람은 PROGRAM.md에 목표, 수정 가능 파일, 베이스라인, 회귀 가드레일, 탐색 단계를 적고, AI는 지정된 ABR 관련 파일 안에서 한 번에 하나의 변경만 수행했다. 변경 후에는 네트워크 시나리오별 테스트를 돌려 QoE가 좋아지면 keep, 나빠지면 discard했다.

30회 실험 결과 베이스라인 QoE 0.7954에서 최고 0.9310으로 약 17.1% 개선되었다. 인상적인 점은 큰 알고리즘 재작성보다 1~5줄짜리 작은 변경의 누적이 가장 큰 성과를 냈다는 점이다. 예를 들어 LL-HLS의 짧은 transfer time에 맞춘 clamp 조정, 버퍼가 부족할 때 bandwidth factor를 보수적으로 낮추는 조건, playback rate rounding 조정 등이 효과를 냈다.

Key Claims

  • AI 에이전트가 성능 개선에 유용하려면 “좋아졌는지 나빠졌는지”를 자동 판정할 수 있는 단일 또는 명확한 지표가 먼저 필요하다.
  • 수정 범위를 좁히는 것은 AI의 자율성을 줄이는 것이 아니라, 에이전트가 엉뚱한 탐색 공간에서 헤매지 않게 하는 운영 장치다.
  • AutoResearch 스타일 루프는 ML 학습뿐 아니라 렌더링 성능, 서버 성능, UI 성능, ABR 알고리즘처럼 정량 점수가 있는 소프트웨어 개선에도 적용될 수 있다.
  • 실패 후보를 빠르게 버리는 tiered validation 구조가 전체 실험 효율을 크게 높인다.
  • git log, autoresearch.json, lessons.json 같은 구조화된 메모리는 에이전트가 같은 실패 패턴을 반복하지 않도록 만든다.
  • 발표 사례에서 최고의 개선은 복잡한 알고리즘이 아니라 단순하고 검증 가능한 작은 변경들의 누적에서 나왔다.
  • 시뮬레이터와 실제 트래픽 사이에는 차이가 있으므로, 실험 결과는 배포 완료가 아니라 실제 AB 테스트나 업스트림 PR로 가져갈 강한 후보로 해석해야 한다.

Extracted Concepts

  • [채점 가능한 실험 시스템](/notes/30-concepts__채점 가능한 실험 시스템/)
  • [Agentic AI](/notes/30-concepts__Agentic AI/)
  • [Agent Memory](/notes/30-concepts__Agent Memory/)
  • AutoResearch
  • QoE
  • ABR
  • LL-HLS
  • HLS.js

Caveats / Limits

  • 17.1% 개선은 제한된 7개 네트워크 시나리오와 실험 인프라에서 측정된 결과다.
  • 모바일 5G, 다양한 CDN, 브라우저, 실제 사용자 행동을 모두 대표한다고 볼 수는 없다.
  • QoE라는 단일 점수는 실험 자동화에는 강력하지만, 가중치 설계에 따라 최적화 방향이 달라질 수 있다.
  • AI 에이전트의 기여는 독립적인 천재성보다 사람이 설계한 문제 정의, 검증 인프라, 회귀 가드레일 위에서 발생했다.

Open Questions

  • 시뮬레이터에서 좋은 변경이 실제 사용자 트래픽에서도 좋은 변경이라는 상대 랭킹 일치도를 어떻게 지속 검증할 것인가?
  • QoE처럼 단일 점수로 압축할 때 사용자군별 피해를 놓치지 않기 위한 가드레일은 어떻게 설계해야 하는가?
  • AutoResearch 루프를 제품 기능, 비용 최적화, 추천 시스템, UI 성능 개선에 적용할 때 각 도메인별 최소 실험 인프라는 무엇인가?

Links Created

  • [채점 가능한 실험 시스템](/notes/30-concepts__채점 가능한 실험 시스템/)
  • [AI 에이전트 성과는 프롬프트보다 채점 가능한 실험 시스템에서 나온다](/notes/20-insights__AI 에이전트 성과는 프롬프트보다 채점 가능한 실험 시스템에서 나온다/)